Þó svo að Þorsteinn hafi ort mikið frá unga aldri var það fyrst árið 1897 að ljóð hans voru birt á bók. Var það fyrir tilverknað Odds Björnssonar á Akureyri, en bókin fékk nafnið ,,Þyrnar”. Framan af voru ljóð Þorsteins hefðbundin í stíl og umgerð, og hann sótti yrkisefnin í sveitina og landið. Áhrif frá Steingrími Thorsteinssyni og Benedikt Gröndal leyndu sér ekki.  Í Kaupmannahöfn kynntist Þorsteinn sósíalisma sem hann tók fagnandi og afneitaði af sömu ákefð kristinni trú. Uppfrá því fór hann að sækja í önnur yrkisefni og ljóð hans urðu beinskeyttari og full af skoðunum á samfélaginu í kringum sig.